@PhDThesis{França:2016:ApApRe,
               author = "Fran{\c{c}}a, Luis Fernando Amorim",
                title = "Aplica{\c{c}}{\~a}o da aprendizagem por refor{\c{c}}o para o 
                         problema de aloca{\c{c}}{\~a}o de espectro em redes {\'o}pticas 
                         el{\'a}sticas",
               school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
                 year = "2016",
              address = "S{\~a}o Jos{\'e} dos Campos",
                month = "2016-05-16",
             keywords = "redes {\'o}pticas el{\'a}sticas, aloca{\c{c}}{\~a}o de 
                         espectro, processo markoviano de decis{\~a}o, aprendizagem por 
                         refor{\c{c}}o, elastic optical networks, spectrum allocation, 
                         Markov decision process, reinforcement learning.",
             abstract = "As Redes {\'o}pticas el{\'a}sticas v{\^e}m sendo desenvolvidas 
                         recentemente com o intuito de prover maior flexibilidade em 
                         rela{\c{c}}{\~a}o {\`a}s redes {\'o}pticas tradicionais. 
                         Nessas redes, recursos, denominados slots, s{\~a}o alocados de 
                         acordo com a demanda de tr{\'a}fego. Torna-se poss{\'{\i}}vel, 
                         ent{\~a}o, a gera{\c{c}}{\~a}o de caminhos {\'o}pticos para 
                         estabelecer conex{\~o}es para diferentes classes de 
                         servi{\c{c}}os com requerimentos de banda heterog{\^e}neos. Ao 
                         se estabelecer um caminho {\'o}ptico deve-se selecionar quais 
                         enlaces ser{\~a}o utilizados para rotear a conex{\~a}o e, para 
                         cada enlace dessa rota, quais slots ser{\~a}o alocados. Neste 
                         trabalho focamos em um enlace de uma rede {\'o}ptica 
                         el{\'a}stica sob tr{\'a}fego din{\^a}mico, e, portanto, o 
                         roteamento n{\~a}o precisa ser realizado. N{\'o}s propomos um 
                         modelo anal{\'{\i}}tico, por meio de um processo markoviano de 
                         decis{\~a}o a tempo cont{\'{\i}}nuo, para encontrar uma 
                         pol{\'{\i}}tica {\'o}tima de aloca{\c{c}}{\~a}o de espectro. 
                         Uma vez que essa pol{\'{\i}}tica {\'e} aplicada, n{\'o}s 
                         utilizamos uma cadeia de Markov para calcular suas medidas de 
                         desempenho. Para inst{\^a}ncias mais realistas do problema, no 
                         entanto, o modelo anal{\'{\i}}tico torna-se invi{\'a}vel de ser 
                         resolvido, seja por restri{\c{c}}{\~o}es de mem{\'o}ria ou 
                         tempo de processamento. Dessa forma, propomos tamb{\'e}m a 
                         utiliza{\c{c}}{\~a}o de um algoritmo de aprendizagem por 
                         refor{\c{c}}o para encontrar pol{\'{\i}}ticas de 
                         aloca{\c{c}}{\~a}o de espectro nos casos em que o modelo 
                         anal{\'{\i}}tico n{\~a}o pode ser aplicado. Resultados 
                         num{\'e}ricos s{\~a}o apresentados para ilustrar as medidas de 
                         desempenho da pol{\'{\i}}tica de aloca{\c{c}}{\~a}o de 
                         espectro derivada do nosso modelo em rela{\c{c}}{\~a}o a duas 
                         pol{\'{\i}}ticas comumente utilizadas na literatura, First-Fit e 
                         Best-Fit. ABSTRACT: Elastic Optical Networks (EONs) have been 
                         recently proposed to provide flexibility over traditional optical 
                         networks. In these networks, resources, called slots, are 
                         allocated according to traffic demands, providing the possibility 
                         of generating optical paths to establish connection requests for 
                         different classes of services with heterogeneous bandwidth 
                         requirements. In order to establish the optical paths one must 
                         select which links will be used to route each connection and, for 
                         each link of the route, which slots will be allocated. In this 
                         work we focus in one link of an EON under dynamic traffic, and 
                         thus no routing needs to be done. We propose an analytical model, 
                         by means of a continuous-time Markov decision process, to find an 
                         optimal Spectrum Allocation (SA) policy. Once a SA policy is 
                         applied, we use a Markov chain to compute its performance metrics. 
                         For more realistic instances of the problem, however, the 
                         analytical model is computationally infeasible. Therefore, we also 
                         propose the use of a reinforcement learning algorithm in order to 
                         find SA policies for the cases where the analytical model cannot 
                         be applied. Numerical results are provided to illustrate the 
                         performance metrics of the SA policy derived from our model over 
                         two SA myopic policies commonly used in the literature, namely 
                         First-Fit and Best-Fit.",
            committee = "Velho, Haroldo Fraga de Campos (presidente) and Carvalho, Solon 
                         Ven{\^a}ncio de (orientador) and Rodrigues, Rita de C{\'a}ssia 
                         Meneses (orientadora) and Yanasse, Horacio Hideki and Ribeiro, 
                         Carlos Henrique Costa and Milioni, Armando Zeferino",
           copyholder = "SID/SCD",
         englishtitle = "Application of reinforcement learning for the spectrum allocation 
                         problem in elastic optical networks",
             language = "pt",
                pages = "105",
                  ibi = "8JMKD3MGP3W34P/3LMJSEL",
                  url = "http://urlib.net/ibi/8JMKD3MGP3W34P/3LMJSEL",
           targetfile = "publicacao.pdf",
        urlaccessdate = "27 abr. 2024"
}